#/bin/sh
# Este script genera el archivo histograma.csv
# En realidad contiene una sola columna que es la de cantidad de apariciones de 
# las palabras del archivo definiteve_words.txt con apariciones menores e 
# iguales a 1000. Es decir, aquellas palabras que aparescan mas de 1000 veces
# no seran tenidas en cuenta.
# Luego con R se procesa para obtener el histograma correspondiente
cd ~/Documents/facultad/tesis/wikipedia/words/
if [ -e histograma.csv ]; then
    echo "deleting histograma.csv"
    rm histograma.csv
fi
#echo "indice,apariciones" > histograma.csv
echo "Generating info"
#awk '{if ($2>=1 && $2<=10) {print $2}}' definitive_words.txt > histDe1A10.csv
#awk '{if ($2>=11 && $2<=100) {print $2}}' definitive_words.txt > histDe11A100.csv
#awk '{if ($2>=101 && $2<=1000) {print $2}}' definitive_words.txt > histDe101A1000.csv
#awk '{if ($2>=1001 && $2<=2000) {print $2}}' definitive_words.txt > histDe1001A2000.csv
#awk '{if ($2>=2001 && $2<=10000) {print $2}}' definitive_words.txt > histDe2001A10000.csv
#awk '{if ($2>=10001) {print $2}}' definitive_words.txt > histDe10001ATodo.csv 
awk '{print $2}' definitive_words.txt > hist.csv
echo "The info was generated"


# Luego con R hay que ejecutar:
# h = scan("histograma.csv")
# hist(h)


#for i in {0..1000}
#do
#awk -v lim=${i} '{if ($2==lim) {print $1}}' definitive_words.txt | sort | uniq | wc -l | awk -v lim=${i} '{print lim, ",", $1}' >> histograma.csv
#done
